ShutterMuse: Capture-Time Photography Guidance with MLLMs
ShutterMuse：基于多模态大模型的实时摄影指导
🧭 多模态大模型 · 拍摄指导
Fudan University · StepFun
构建拍摄时机摄影指导基准与统一多模态模型，联合优化构图决策与姿态推荐
📌 工作参考价值（4 点）
- 多模态决策+细化联合建模：将构图决策（是否调整）与细化（精确裁剪区域）统一到一个模型，可借鉴到电商场景中，例如商品展示图的自动评估与局部优化，或广告创意的整体布局判断与元素微调。
- 场景条件生成式推荐：通过场景图片生成主体姿态建议，本质上是一种条件生成式推荐。在虚拟试穿、搭配推荐中，可以根据用户输入的场景（如背景、环境）直接推荐合适的姿态、穿搭或商品，提升交互体验。
- 统一多任务减少推理成本：用一个 MLLM 同时处理摄影师侧和主体侧任务，避免多模型流水线。推荐系统中可将召回、排序、解释生成等合并，降低工程复杂度与延迟。
- 结构化视觉标注增强可解释性：训练中加入关键点等结构化数据，使模型输出可执行的视觉指导。可将类似思路用于商品关键属性（如领型、袖长）的结构化标注，提升模型对细粒度属性的控制力。